import requests
from bs4 import BeautifulSoup
from tqdm import tqdm
import time


def get_one_page(all_url):
	'''获取单个页面的HTML文本'''
	try:
		response = requests.get(all_url,timeout=20)
		response.raise_for_status()
		response.encoding = response.apparent_encoding
		#print(response.text)
		return response.text
	except:
		print('Failed')
		return None

作者：HDMI
链接：https://zhuanlan.zhihu.com/p/36506024
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。